iT邦幫忙

2023 iThome 鐵人賽

DAY 5
0
AI & Data

利用 Databricks 學習 ML/LLM 開發系列 第 5

Day05 - 建立 Cluster 與 SQL Notebook 驗證 Cluster/Spark 環境

  • 分享至 

  • xImage
  •  

登入 Databricks Community Edition (CE) Portal 後,參考 Getting Started document,建立一個 cluster。

  1. 建立 Cluster

https://ithelp.ithome.com.tw/upload/images/20230920/20091643uuMatdgLHp.png

https://ithelp.ithome.com.tw/upload/images/20230920/20091643RAP0pd0A8d.png

  1. 新增 Notebook,將 Notebook language type 改成 SQL (預設是 Python)

https://ithelp.ithome.com.tw/upload/images/20230920/20091643gQRIjstPPa.png

https://ithelp.ithome.com.tw/upload/images/20230920/20091643klf5RBtcP3.png

  1. Cell 1: 建立一個 table
%sql
DROP TABLE IF EXISTS diamonds;

CREATE TABLE diamonds USING CSV OPTIONS (path "/databricks-datasets/Rdatasets/data-001/csv/ggplot2/diamonds.csv", header "true")

Run Cell!
https://ithelp.ithome.com.tw/upload/images/20230920/20091643dttzxTDAAZ.png

https://ithelp.ithome.com.tw/upload/images/20230920/20091643SE8QYcV2og.png

  1. Cell 2: 查詢 table
%sql
SELECT color, avg(price) AS price FROM diamonds GROUP BY color ORDER BY COLOR

https://ithelp.ithome.com.tw/upload/images/20230920/20091643i4idnqzQeF.png

  1. 除了 RAW SQL syntax,也可以直接 Display table。方法:點選 +,選擇 Visualization

https://ithelp.ithome.com.tw/upload/images/20230920/20091643KQjiFGZYvu.png

https://ithelp.ithome.com.tw/upload/images/20230920/20091643ekHAvcN5f6.png

好的,目前已經驗證有個 Spark 環境可以執行 Notebook。
https://ithelp.ithome.com.tw/upload/images/20230920/200916437EeVRljwMo.png


上一篇
Day04 - Databricks 基本觀念、操作、關鍵元件
下一篇
Day06 - DataBricks Runtime ML 在 Community Edition (CE) 和 Subscription Edition (SE) 的差異
系列文
利用 Databricks 學習 ML/LLM 開發30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言